Computing Structure and Motion of General 3D Curves from Monocular Sequences of Perspective Images

This report discusses the problem of recovering 3D motion and structure for rigid curves. For this purpose, we use long monocular sequences of images of the curve and compute some set of derivatives (up to the second order) that are deened on the so-called spatio-temporal surface generated by the curve. For general 3D rigid curves, there is exactly one constraint for each image point that relates these derivatives to the kinematic screw and its rst order time derivative. These equations derive directly from the perspective equations. However, this theory ignores (as does the projective model of cameras) the fact that the viewed object must be entirely in front of the focal plane. In this paper, we provide a complete description (up to second order) of these conditions and of their geometrical consequences for 3D reconstruction. Moreover, the relations between the geometry of the image curve and the kinematic screw are investigated. We show that ignoring these constraints leads to erroneous solutions with a high probability even when using perfect data. Then, an algorithm which takes advantage of these constraints is proposed. The accuracy of the obtained results is demonstrated on both synthetic and real image sequences. Calcul du mouvement et de la structure de courbe rigides 3D ggnnrales partir de ssquences d'images perspectives monoculaires. RRsumm : Ce rapport traite du probllme de la ddtermination du mouvement et de la structure d'une courbe rigide 3D partir d'une longue ssquence d'images monoculaires de celle-ci. Cette ssquence permet de calculer une certain ensemble de grandeurs diiirentielles (jusqu'' l'ordre 2) qui sont dddnies sur la surface spatio-temporelle engendrre par la courbe. Pour des courbe 3D rigides ggnnrales, il existe en chaque point de la courbe image exactement une contrainte reliant ces ddrives au torseur cinnmatique associi au mouvement et la ddrive premiire de ce torseur. Cette relation provient directement des equations de projection perspective. Cepen-dant, cette thhorie ne tient pas compte (tout comme le moddle de cammra utiliss) du fait que l'objet observ doit se trouver entiirement devant le plan focal pour pouvoir tre observable. Dans ce rapport, nous donnons une description compllte (jusqu'' l'ordre 2) des conditions qui doivent tre rralisse pour assurer l'observabilitt de l'objet et des conssquences ggommtriques de ces conditions sur la reconstruction 3D. Une analyse sommaire du nombre de ces contraintes en fonction de la ggommtrie de la courbe image et de la position du torseur cinnmatique est galement …